iT邦幫忙

2024 iThome 鐵人賽

DAY 13
0
Software Development

Unity使用教學系列 第 15

使用 Firebase ML Kit 架設機器學習應用

  • 分享至 

  • xImage
  •  

前言
隨著行動應用的發展,機器學習逐漸成為提升應用智能化的關鍵技術。Firebase ML Kit 提供了一系列易於集成的機器學習工具,無需專業的機器學習知識,開發者便可以將圖像識別、文字辨識等功能快速應用到行動端應用中。這篇文章將介紹如何使用 Firebase ML Kit 提供的現成 API,並展示如何在 Firebase 上部署自定義機器學習模型來實現圖像分類或物體檢測。

1. 使用 ML Kit 提供的現成 API
Firebase ML Kit 提供了一套預先訓練的模型,這些模型覆蓋了常見的機器學習任務,如臉部偵測、文字辨識、條碼掃描和圖像標籤等。這些 API 幫助開發者簡單、快速地將機器學習集成到應用中,無需手動訓練和部署模型。

1.1 臉部偵測
臉部偵測是一個常見的應用場景,可以幫助應用識別圖像中的人臉並提供詳細的面部特徵信息,如眼睛、鼻子、嘴巴的位置等。這個功能可以用於照片應用、社交應用或安全驗證系統中。

步驟:在應用中實現臉部偵測

1.首先,確保你的應用已經安裝 Firebase 並正確配置了 ML Kit。
2.使用 Firebase ML Kit 的臉部偵測 API:

import { getReactNativeFaceDetector } from '@react-native-firebase/ml-kit';

// 準備圖像進行偵測
const imageUri = 'path/to/your/image.jpg';

const faceDetector = getReactNativeFaceDetector();
const faces = await faceDetector.processImage(imageUri);

faces.forEach(face => {
  console.log(`Face detected with bounds: ${JSON.stringify(face.bounds)}`);
  console.log(`Left eye open: ${face.leftEyeOpenProbability}`);
});

這段代碼展示了如何使用 ML Kit 的臉部偵測 API,從圖像中檢測出面部並獲取各種面部特徵。ML Kit 的臉部偵測 API 不僅能識別多張人臉,還能偵測出表情、頭部方向等豐富的信息。

1.2 文字辨識
ML Kit 的文字辨識 API 能夠快速從圖像中提取文字信息,這對於需要掃描文件、識別標牌或進行文字檢索的應用場景來說非常實用。

步驟:使用 ML Kit 進行文字辨識

import { getReactNativeTextRecognizer } from '@react-native-firebase/ml-kit';

// 準備圖像進行文字辨識
const imageUri = 'path/to/your/text-image.jpg';

const textRecognizer = getReactNativeTextRecognizer();
const result = await textRecognizer.processImage(imageUri);

console.log('Detected text: ', result.text);

這段代碼會從圖像中提取文字,並將識別到的文字作為字符串返回。ML Kit 的文字辨識支持多語言,可以識別印刷字體和手寫文字,適用於多種應用場景,如文件掃描應用或 OCR(光學字符識別)工具。

1.3 條碼掃描
ML Kit 也支持多種格式的條碼掃描,包括 QR 碼和 1D 條碼,這使得它成為支付應用、購物應用中的一個有用功能。

步驟:使用條碼掃描 API

import { getReactNativeBarcodeScanner } from '@react-native-firebase/ml-kit';

// 掃描條碼
const imageUri = 'path/to/your/barcode-image.jpg';
const barcodeScanner = getReactNativeBarcodeScanner();
const barcodes = await barcodeScanner.processImage(imageUri);

barcodes.forEach(barcode => {
  console.log(`Barcode detected: ${barcode.displayValue}`);
});

ML Kit 的條碼掃描支持多種格式,可以用於電子票券、商品掃描、二維碼支付等場景。

2. 部署自定義機器學習模型
儘管 ML Kit 提供了多種預訓練模型,有時你可能需要更為特定的機器學習模型來滿足應用的需求。此時,你可以在 Firebase 上部署自定義機器學習模型,並且在應用中使用。

2.1 準備自定義模型
首先,你需要準備一個已經訓練好的機器學習模型。這個模型可以是 TensorFlow Lite 格式的文件(.tflite)。你可以使用 TensorFlow 訓練模型,然後導出成 TensorFlow Lite 格式。

範例:使用 TensorFlow 訓練並導出模型

import tensorflow as tf

// 構建簡單的圖像分類模型
model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3)),
    tf.keras.layers.MaxPooling2D(2, 2),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(128, activation='relu'),
    tf.keras.layers.Dense(10, activation='softmax')
])

// 編譯並訓練模型
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(training_data, training_labels, epochs=5)

// 將模型轉換為 TensorFlow Lite 格式
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

// 保存模型
with open('model.tflite', 'wb') as f:
    f.write(tflite_model)

2.2 部署模型到 Firebase
將自定義模型部署到 Firebase 非常簡單。你只需要將 .tflite 模型文件上傳到 Firebase ML 中,並在應用中使用 Firebase SDK 加載模型。

步驟:上傳自定義模型

1.打開 Firebase 控制台,進入「Machine Learning」部分。
2.上傳你的 .tflite 模型並命名它。

2.3 在應用中使用自定義模型
當模型上傳成功後,可以使用 Firebase SDK 在應用中加載這個自定義模型,並在本地進行推理。

範例:加載並使用自定義模型

const model = await firebase.ml().loadModel({
  modelName: 'custom_model',
  localModelFile: 'path/to/local/model.tflite',
});

// 將圖像數據傳入模型進行推理
const result = await model.processImage(imageData);

console.log('Prediction results: ', result);

這樣,你的應用就可以利用自定義機器學習模型進行推理,處理特定的任務,如圖像分類、物體偵測等。

3. 實際案例:圖像分類應用
作為實際應用的例子,我們可以使用自定義機器學習模型來構建一個圖像分類應用。假設我們要開發一個識別花卉種類的應用,透過 Firebase ML Kit 部署自定義模型,應用可以接收用戶上傳的花卉照片,並通過模型進行識別。

3.1 應用流程
1.用戶上傳照片:用戶可以從手機相冊中選擇一張照片,或者直接拍攝花卉照片。
2.圖像處理與推理:應用將照片傳遞給 Firebase ML Kit 部署的自定義模型,並進行推理。
3.結果展示:應用將顯示模型的預測結果,告訴用戶這是哪種類型的花卉。

3.2 範例代碼


const imageUri = 'path/to/flower-image.jpg';
const model = await firebase.ml().loadModel({
  modelName: 'flower_classification_model',
  localModelFile: 'path/to/local/model.tflite',
});

const prediction = await model.processImage(imageUri);
console.log('Flower type prediction: ', prediction);

透過這樣的應用,開發者可以輕鬆地將自定義機器學習模型整合到行動端應用中,實現更豐富的功能。

結語
Firebase ML Kit 是一個強大且靈活的工具,讓開發者能夠輕鬆地在行動應用中整合機器學習功能。無論是使用現成的 API 還是部署自定義模型,ML Kit 都為各種應用場景提供了便利的解決方案,如果有任何問題或需要更多案例,歡迎留言討論!


上一篇
Firebase Performance Monitoring:如何優化應用性能
系列文
Unity使用教學15
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言